面向無菌醫療環境的物理三維建模與人機交互技術

所屬學院：人工智能研究院

合作方式：?整體轉讓 ?技術許可 ?作價入股 ?合作開發 ?其它_____

成果簡介：

將醫院已建設各類信息系統進行整合，并且集成各類醫療設備，實現了患者診療信息的集中展示、傳輸、存儲與模擬。以合適的方式直觀的展示給術者，在手術室內可以實時、便捷的獲取到與手術相關的信息，無論是術前的各類醫學影像、生化生理指標、電子病歷，還是實時生命體征監測信息，又或是基于病人特殊病情所進行的實時物理模擬預測信息等，都可以根據需要靈活的可選擇的顯示在手術室內的多塊顯示終端屏幕上，有利于術者做出正確的決定，從而提高手術的效率和安全性。而且，數字化手術室系統的多信息屏也能夠很好的解決手術助手醫師和手術護理人員的視角視野問題。將手術所需要的和手術過程中產生的大量數據集中展現在手術室，注重在手術室臨床信息系統和醫院其他信息系統的整合，結合醫院信息基礎設施環境而形成分布式、模塊化、實時性的數字化手術室平臺。將手術室醫療設備如機器人系統、手術導航系統、內窺鏡系統、麻醉系統等有機集成，實現設備資源和信息資源高度共享，提供臨床手術所需要的完整信息。

成熟程度及推廣應用情況：

目前處于何種研發階段：?研發 ?小試 ?中試 ?小批量生產?產業化；樣機：?有 ?無 其他：□如選擇“其他”，請說明：。

推廣應用情況：所開發技術成果已應用于西南醫院數字化無菌手術室構建。

技術優勢：

傳統的手術中當醫生需要患者影像信息需要護士協助，而且影像是平面圖片、缺少重建圖像，無法展示如血管、神經、周圍臨近器官的空間位置；該類影像信息亦無法實現對施術過程的模擬與量化評估，對于結構復雜的手術，往往不能起到指導作用。每臺手術在影響信息獲取分析環節總體需要耗時20分鐘-1小時不等。患者手術時間延長會導致術中失血增多，臟器暴露時間長會增加感染，不利于患者的術后恢復，以及增加手術后并發癥的風險。此外手術室內醫生和協助護士的溝通可能產生意圖錯誤傳遞的風險。項目創新性解決醫療手術室效率低下的問題,能大幅度降低了人力成本，提高醫生的效率與施術精準度，更重要的是為患者節約了時間、減少了各個環節的損耗時間，最大程度消除了無菌手術人員和非手術人員的交流障礙。

性能指標：

不同尺度群體及遮擋復雜場景的三維實時獲取及分析：主要針對復雜遮擋場景中人體級別的獲取與分析，在人體數量上直接采用數字精度進行對比，同時針對場景中最主要的用戶，采用Skeleton相關性準度表示，近距離（1.2m-2m）及中距離（2.0m-3.0m）尺度下，獲取數量及準確率達到80%。

醫療影像資料物理三維建模：利用圖像處理降噪算法處理醫學掃描圖像，進行平滑矯正處理，增強區域結構對比度；構建區域分割算法進行施術部位結構模式識別，確保分割區間準確性及組織描述完整性；設計物理三維重構算法，分析圖像各分割區域連通性及分布狀態，并基于各組織物質特性構建動力學仿真模型，實時模擬手術過程統，實現醫學影像信息高維化。

市場分析：

對無菌手術環境下的智能語義識別與手術實時模擬可有效提升手術施術過程效率，本技術研制的面向無菌醫療環境的物理三維建模與人機交互算法，所形成計算機系統模型可形成技術專利與軟件著作，可以面向醫療器械研發單位進行技術對接，填補市場相關領域技術空白，有望培育出戰略性新興產業，具有潛在的經濟效益，并將推進國內計算機醫療輔助技術本土化、信息化、智能化、產業化發展，并對接移動互聯網、大數據、可穿戴、云計算等新一代信息領域，可促進國產醫療輔助性系統的創新鏈-產品鏈-服務鏈的形成。

經濟效益分析：

本技術完成后將會形成一系列人機交互核心硬件設備和以云端為核心的軟件工具平臺，為我國人機交互發展提供重要推力。根據麥肯錫報告的預測，人機交互技術作為眾多影響人類生活和全球經濟發展的顛覆技術的基礎，將在2025年對全球經濟產生13.3-28.2萬億美元的影響。依照中國經濟屆時占世界經濟的五分之一估計（保守估計），人機交互技術對我國經濟的直接或間接的影響或將達到2.6-5.6萬億美元。本項目的開展將為下一代人機交互技術的發展提供技術保障。

成果亮點：

1.具有自主知識產權，研究成果已發表高水平論文10余篇，代表性論文有：

陶建華,楊明浩,王志良,班曉娟,解侖,汪云海,曾瓊,王飛,王紅遷,劉斌,韓志帥,潘航,陳文拯.無菌條件非接觸式多通道自然交互手術環境[J]. 軟件學報, 2019, 30(10): 2986-3004.

張雅斕, 班曉娟, 徐衍睿, 等. 面向非牛頓流體仿真的邊界處理方法[J]. 計算機輔助設計與圖形學學報, 2019, 31(8): 1341-1349.

沈晴,班曉娟,常征,郭靖.基于視頻的人機交互中動作在線發現與時域分割[J].計算機學報, 2015, 38 (12): 2477-2487.

Zhang Y, Ban X, Du F, et al.FluidsNet: End-to-end learning for Lagrangian fluid simulation [J]. Expert Systems with Applications, 2020: 113410.

Wang X, Liu S, Ban X, et al.Recovering Turbulence Details using Velocity Correction for SPHFluids[M]//SIGGRAPH Asia 2019. 2019: 95-98.

2. 成果來源：

國家重點研發計劃(2016YFB1001404)，國家自然科學基金(No.61572075 No.61702036),海南省重點研發計劃(No. ZDYF2020031)等。

3. 技術先進性：

國際先進基于語音和手勢交互技術，搭建一個模擬展示環境，創建一個能夠展示醫學影像資料的系統。建立手勢-指令對照表，能夠通過手勢控制系統圖片的前進、后退、放大、縮小等操作；同時支持語音識別結果轉化為指令，對系統進行快捷操作。搭建了人機交互計算機智能輔助無菌手術室的第一版原型系統，實現了基于語音和手勢的醫療手術環境下的醫療處理界面自然交互操作。

團隊簡介：

北京科技大學人工智能與三維可視化實驗室目前有教師6人（其中教授1人，副教授1人，講師4人）。負責人班曉娟教授（博導）獲得教育部新世紀優秀人才榮譽稱號，任中國人工智能學會常務理事及智慧醫療專業委員會主任，中國計算機學會人機交互專業委員會常務委員。近年在Nature子刊，計算機學會推薦的A類頂級國際會議CHI、VR、SIGGRAPH等發表圖像處理和流體模擬相關文章多篇。團隊致力于計算機視覺以及圖形學等領域的應用研究。主持國家級項目10余項，省部級及橫向企業項目20余項，發表學術論文300余篇，發明專利10余項，軟件著作權20余項，獲省部級以上科研教學獎勵4項。

成果相關照片：

圖1加速部件放置于計算機上

圖2多模態數據協同處理專用加速計算部件結構

圖3面向孔源性視網膜脫離的硅油填充計算機輔助模擬分析技術

圖4無菌非接觸式智能手術室方案及設備連接圖

聯系方式：

北京科大科技園

010-62333830,62335841,62335665,62333626